Photo du site officiel de Taalas
Les entreprises sous la bannière de « subvertir NVIDIA » émergeront toujours les unes après les autres.
Récemment, Taalas, une « petite usine » de puces de Toronto, au Canada, a attiré l'attention du cercle de l'IA. Certaines personnes pensent que cela permettra probablement de tirer parti du marché des puces IA que Nvidia domine depuis de nombreuses années.
Le 20 février, heure locale, Taalas, une startup fondée en 2023, a lancé son premier produit, la puce Taalas HC1, spécialement optimisée pour le modèle Llama 3.1 8B. Il atteint une vitesse d'inférence de 12 000 jetons par seconde lors de l'utilisation d'un cluster de 30 puces, ce qui est 50 fois plus économe en énergie que les solutions GPU traditionnelles.
Taalas a déclaré que la société avait raccourci le cycle de personnalisation des puces à deux mois grâce à la technologie ASIC structurée et avait levé un total de 219 millions de dollars. Les efforts de 24 employés dévoués et un investissement de 30 millions de dollars américains ont abouti à un produit offrant « un professionnalisme, une rapidité et une efficacité énergétique ultimes ».
Le fondateur et PDG de Taalas est la légende de l'industrie Ljubiša Bajić, ancien architecte d'AMD.
Dans un article d'introduction sur le site officiel de la société, Bajic a déclaré que cette puce avait choisi Llama 3.1 8B, un grand modèle open source lancé par Meta Company en juillet 2024, comme plate-forme d'exploitation. La vitesse d'inférence maximale est proche de 17 000 jetons/seconde, soit près de 10 fois plus rapide que la technologie la plus avancée du marché. Le coût de construction est réduit à 1/20 de l'original et la consommation électrique est réduite à 1/10 de l'original.
Capture d'écran de la plateforme sociale X
Bajic a donné un ensemble de données de test. Taalas lui-même a testé les principaux produits Nvidia H200 et B200 sur Llama 3.1 8B, et les résultats étaient de 230 jetons/seconde et 353 jetons/seconde, tandis que les performances HC1 de Taalas sont 48 fois supérieures à celles-ci.
Les données précédentes étaient la valeur la plus élevée mesurée par la plateforme d’analyse indépendante Artificial Analysis. Il provenait de Cerebras, qui venait de finaliser un financement de série H et était valorisé à 23 milliards de dollars. C'était 1 981 jetons/seconde, ce qui ne représentait que 11 % de HC1.
Dans la démonstration du test proprement dit, les réponses dét...
[Courte citation de 8% de l'article original]